Ian Fleming sinh ra tại Mayfair, London. Cha ông, Valentine Fleming là một nghị sĩ nghị viện, mẹ Ian Fleming là bà Evelyn Ste Croix Fleming (có họ trước khi lấy chồng là Rose). Ông có anh trai Peter Fleming và hai em trai Michael và Richard Fleming (1910–77). Ông còn có một cô em cùng cha khác mẹ Amaryllis Fleming. Ông là cháu của nhà tài chính Scotland Robert Fleming, người đã sáng lập ra Quỹ đầu tư Mỹ-Scotland (Scottish American Investment Trust) và ngân hàng thương mại Robert Fleming & Co. (từ năm 2000 là một phần của JP Morgan Chase). Ông là cậu của diễn viên Christopher Lee và nữ diễn viên Dame Celia Johnson là chị dâu của ông (vợ của ông anh Peter).

Fleming học tại Trường Durnford ở Dorset, Cao đẳng Elton và Học viện Hải quân Hoàng gia Sandhurst. Ông nhận thấy Sandhurst không thích hợp và sau khi sớm rời bỏ trường này, mẹ cậu ông đưa gửi cậu đến học ngôn ngữ tại châu Âu lục địa. Thoạt đầu cậu học ở một cơ sở tư nhân nhỏ ở Kitzbühel, Áo, quản lý bởi tông đồ thuộc Adler Ernan Forbes Dennis và bà vợ Mỹ của ông, tiểu thuyết gia Phyllis Bottome, để nâng cao tiếng Đức và chuẩn bị cho cậu thi vào Foreign Office, sau đó vào Đại học München và cuối cùng là vào Đại học Genève để nâng cao tiếng Pháp. Đơn xin vào Foreign Office không được chấp nhận và cuối cùng ông đã làm một sub-editor và phóng viên cho phòng tin tức của Reuters, bao gồm cả thời gian năm 1933 ở Moskva, và sau đó làm một nhà môi giới chứng khoán với Rowe và Pitman ở Bishopsgate. Ông là một thành viên của Boodle's, the gentleman's club ở St. James's Street từ năm 1944 đến khi mất năm 1964.

Lễ hôn ở Jamaica năm 1952 của ông và Anne Charteris, con gái của Lord Wemyss và người vợ cũ của Tử tước Rothermere được nhà viết kịch Noel Coward là bạn ông chứng kiến.